二次渲染、MA灯光控制、现场VR／AR......《2060》打破电视虚拟技术天花板
作者 | 影视制作编辑部
订阅 | 010-86092062
《2060》是江苏卫视推出的国产原创动漫形象舞台竞演节目，该节目邀请数位嘉宾担任明星引航员，明星引航员根据26位V-life的初次亮相、双人合作舞台等表现，组建自己心目中的最强战队 。【更多节目内容➡️ 打破次元壁！揭秘国内首个大型原创动漫形象舞台竞演秀】
这个平行宇宙是怎样打造出来的呢？本文将由《2060》节目虚拟技术总监龚义钊带领我们走进这档首个大型虚拟角色竞技演秀的幕后世界。
龚义钊
江苏卫视《2060》节目虚拟技术总监
《2060》节目虚拟技术总监
空间蛙普传媒有限公司技术总监
拥有超过十年的广播电视舞美设计及视觉经验。多年江苏卫视跨年演唱会舞美设计，率先在电视综艺行业使用虚幻引擎制作视觉预演，及节目制作。熟悉广播电视节目系统全流程制作。
V－Life如何被看到？
对于龚义钊这样资深的技术人士来说，虚拟角色并不是“另一个世界”的存在，而是一种相对常规的应用。但随着技术的发展，特别是引擎技术的发展，使得虚拟角色现场表演成为可能。
通过成熟的摄像追踪和不断更新的实时渲染技术，才能使收看电视的观众感受到虚拟角色V－Life的生命活力。
就竞演中最核心的虚拟生命选角上，由于需要实时渲染，因此对角色的面数和材质都有一定的要求。
以聆秋为例，由于头发相对轻巧、衣服的面料也不那么厚重，对于实时的布料解算来说都是比较友好的。而一些穿着长袍、带水袖的角色，就会面临比较大的挑战。
这些看不到的“幕后”努力，让观众对V－Life的表现有了更多期待。
由于虚拟生命的来源各不相同，不同规格和品质的虚拟角色来到一个同级别的舞台后，技术团队需要用统一的广电播出质量和技术标准加以规范，最终使比赛的呈现在技术上实现均衡。
在渲染精度方面，则应用顶级的图像GPU，方能支持现场VR制作达到4K至8K的高精度。为此才有更多的业内观众大呼“过瘾”。
极限挑战
在采访中，幕后制作人不断强调“产能”这个词，毫无疑问这是一次对技术工种的极限挑战。这个挑战在整个节目制作周期中是贯穿始终的。
与传统动画制作相比，以舞台呈现的V－Life是一个更需要技术算力和时间成本的“极限挑战”。
江苏卫视技术团队曾经做过多次大型的虚拟现实节目，其中不乏虚拟人和真人合作的大秀。而此次虚拟人V－Life在数量、体量是数倍于其他项目，制作周期因此显得“捉襟见肘”。
龚义钊提到，《2060》的制作是一种类似“动画电影”的完整技术流程，需要经历一个从视觉设计到完成成片的全部工序和整个流程。
制作周期上，《2060》播出的一期节目需要在20天之内生产出来，也就是每一次录制之间只有15天的间隔。
15天内要经历一部完整的动画片制作所需的技术流程，流程中又细分为动作捕捉、动作设计、创建舞台背景、视觉设计，精修动画、特效制作、合成统筹、直播八个技术工种。
这些工种分属于直播系统团队、动作捕捉团队、动画团队、后期团队和特效团队。为此，整个制作人员在数量达到近300人，其中仅现场技术工作人员就超过了70人。
从全息投影到XR——虚拟舞台的实现方式
根据节目剧情的设定，人类与节目中设定的平行宇宙——星环城是在一次偶然的情况下产生联系的，为此在V－Life首度在卡冈图雅·小剧场亮相时，是通过全息屏幕建立联系的。
因此，节目一开始采用了裸眼可见的全息投影技术。全息投影技术相对成熟，也可以适合多种形式的虚拟角色展演。
随着剧情的推进，人类开始尝试使用更多先进的技术手段来观察星环城。因此，正式竞演开始后，则应用了更为画质更清晰、展现更全面的VR技术。
现场录制时，嘉宾和现场观众都可以通过VR眼镜观看360度的VR全景展演。
虚拟角色表演除了通过VR眼镜传递到嘉宾和现场观众的眼睛的同时，通过虚拟摄像机将跟踪在不同席位上角色的视角传递至导播的切换台，导播根据需要再输出现场的拍摄画面信号。这就是电视和网络视听观众看到的录制版本。
录制版本经过后期再度加工后，最终才是在电视和网络视听平台呈现出来的播出版本。
现场摄像工作照
导播间工作照
现场嘉宾与虚拟人物的交互部分也是通过VR技术打破虚实世界壁垒的。为了增加互动感和真实感，现场应用了微软的Hololens VR眼镜。
通过虚幻引擎渲染实现的现场互动效果可以通过推流的形式展现在VR眼镜里，从而完成真人和虚拟角色的交互。
VR眼镜同时还有一个自己的空间定位，通过空间定位可以明确虚拟人物的位置，这个位置信息可以回传至切换中心，通过导播切换让现场和电视机前的观众看到实时的嘉宾视角画面。
到了第三轮竞演，舞台又进一步升级，技术难度系数和观赏指数也随之加大——开始出现了真人艺人和虚拟角色同台表演。
这一场景中，通过实时渲染实现的VR／AR效果又是贯穿始终的。这涉及到更精细的设计和更加复杂的制作。节目呈现出来的制作人的工作也仅仅是“冰山一角”。
第三轮竞演画面
其中，主要运用的VR技术首先体现在排练走位时，通过真人演员佩戴VR眼镜定位虚拟角色，明确二人表演中不断变动的位置关系。
实际演出时，真人表演最终通过全抠像技术，合成至虚拟角色的表演中。也可以通过虚实交替的AR技术，让现实中的人物走进虚拟世界的场景中去。
这背后都需要大量的虚拟现实技术支持和大量的时间成本支出。
VR技术运用现场工作照
技术创新——二次渲染技术
大型的应用也是技术创新的“温床”。在即时渲染技术取代传统的渲染流程的同时，为了保证直播的质量、速度和稳定性，《2060》的录制中大面积使用了“二次渲染”的技术。
即为了保证效率，在现场录制时适当减少灯光的设置，到了录制完成后的精修阶段，则通过虚幻引擎的灵活配置，进行再度渲染，将更适合节目表现方式的多种灯光效果加进来，形成二次渲染的效果。
据悉，二次渲染的技术创新是专为节目定制开发的。开发者是来自挪威的技术团队，通过定制开发名为“pixotope”这样一个专用UE插件，将广播级的讯道与UE渲染器进行结合，实现实时转播所需要的广播级别的渲染效果。
pixotope二次渲染
“打通了广电播出跟灯光控制的MA灯光控制台是此次录制的又一个节目亮点。”龚义钊提到。
在录制现场通过灯光控制代码，可以实现在UE4里的实时编辑，从而在现场实现更有沉浸感和真实感的灯光效果。
MA灯光控制台
缺少“杀手级”应用，完全体的爆发还为时过早
龚义钊提到，伴随数字技术和电视转播技术的发展，这为以后的舞台带来了更多的可能性。
未来，舞台舞美的制作会更加天马行空，电影工业与电视工业也会加速融合，技术上会离得越来越近。未来制约发展的将只是想象力的问题。
通过大屏技术和网络直播技术的提升，也将有更多的受众通过多种终端收看VR虚拟现实的节目。
但是，这和理想中的元宇宙还有差距。“元宇宙的爆发，还需要一个更加’杀手级’的终端”，龚义钊如是说。
动作捕捉工作照
END
【推荐阅读】
| 打破次元壁！揭秘国内首个大型原创动漫形象舞台竞演秀 | |
| 用电影美术完成历史真实和艺术真实的统一：《古董局中局》美术指导王阔创作分享 | |
| 速看！维塔数码公开内部IBL获取指南 | |
| 超五成镜头全CG制作？维塔数码又一力作——漫威电影《永恒族》视效解析 | |
| “口袋里有好莱坞”是不是真的？专业摄影师为你揭秘iPhone 13 Pro的真实拍摄能力 |
我知道你在看哟